Social network kernels for image ranking and retrieval Noyaux de similarité pour les réseaux sociaux

The exponential growth of social networks currently makes them the standard way to share and explore data where users put informations (images, text, audio,...) and refer to other contents (profiles, images,...). This creates connected networks whose links provide valuable informations in order to enhance the performance of many tasks in information retrieval including ranking and annotation. We introduce in this paper a novel image retrieval framework based on a new class of kernels referred to as “network or context-dependent”. The contribution of our method includes (i) a variational framework which helps designing a similarity (and ranking) using both the intrinsic image attributes and the underlying contextual informations resulting from different (e.g. social) links and (ii) the proof of convergence of the similarity function to a fixed-point. We will also show that the resulting fixed-point defines indeed a Mercer kernel in some reproducing kernel Hilbert space (RKHS). Experiments conducted on social network data mainly Flickr show the outperformance and the substantial gain of our ranking scheme with respect to the use of classic “context-free” similarity. Résumé La croissance exponentielle des réseaux sociaux sur Internet les rend actuellement des standards incontournables de partage et d’exploration des données multimédia. Dans ces réseaux, les utilisateurs rajoutent des informations (images, texte, audio,...) et créent des liens vers d’autres contenus. Ces liens sociaux fournissent des statistiques sur les données et permettent aussi d’améliorer les performances de plusieurs taches en recherche d’information comme le “ranking” et l’enrichissement des annotations. On introduit dans cet article une nouvelle approche de recherche d’images basée sur une famille de noyaux dite dependente des “réseaux sociaux”. La contribution de ce travail inclut (i) une approche variationnelle permettant de construire ces noyaux de similarité (et de “ranking”) en utilisant les attributs visuels intrinsèques des images ainsi que leur contexte issue des liens sociaux et (ii) une preuve de convergence du noyau construit vers un point-fixe. On démontre aussi que ce dernier définit bien un espace à noyau reproduisant (RKHS). Les experiences, menées sur c ©2009 Hichem Sahbi and Jean-Yves Audibert. Hichem Sahbi and Jean-Yves Audibert des données du réseau social Flickr, démontrent clairement les bonnes performances de notre noyau de “ranking” par rapport aux fonctions de similarité classiques c.a.d. indépendantes du contexte.